标准正交基

Orthonormal Basis
标准正交的向量 ${\mathbf{q}}_1,\cdots ,{\mathbf{q}}_n$ 满足：
相互垂直并且模都为 1

标准正交的向量作为矩阵的列
将矩阵记为 $Q$

矩阵的转置等于逆矩阵 Transpose=Inverse $Q^T=Q^{-1}$

• $\left|\left|Q\mathbf{x}\right|\right|=\left|\left|\mathbf{x}\right|\right|$
• $(Q\mathbf{x}{)}^T(Q\mathbf{y})={\mathbf{x}}^T{Q}^{T}Q\mathbf{y}={\mathbf{x}}^T\mathbf{y}$

如果使用标准正交基进行向量投影：
$Q^{T}Q\hat{\mathbf{x}}=\hat{\mathbf{x}}=Q^T\mathbf{b}$ $\mathbf{p}=Q\hat{\mathbf{x}}$

$\mathbf{b}=Q{Q}^T\mathbf{b}$ 本质上也为变换的思想
将向量或函数通过变换分解为 perpendicular pieces
然后将 pieces 通过逆变换重新得到原来的向量或函数

Gram -Schmidt Process

利用线性独立的向量组来构建标准正交基
假设有三个独立的向量 $\mathbf{a},\mathbf{b},\mathbf{c}$
目的是得到标准正交的向量 ${\mathbf{p}}_1,{\mathbf{p}}_2,{\mathbf{p}}_3$

先构造三个相互垂直的向量 $\mathbf{A},\mathbf{B},\mathbf{C}$，再标准化
$\mathbf{A}=\mathbf{a}$
$\mathbf{B}=\mathbf{b}-{\displaystyle \frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}}\mathbf{A}$
$\mathbf{C}=\mathbf{c}-{\displaystyle \frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}}\mathbf{A}-{\displaystyle \frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}}\mathbf{B}$
$\cdots$

则标准正交的向量：

${\mathbf{p}}_1={\displaystyle \frac{\mathbf{A}}{\left|\left|\mathbf{A}\right|\right|}},{\mathbf{p}}_2={\displaystyle \frac{\mathbf{B}}{\left|\left|\mathbf{B}\right|\right|}},{\mathbf{p}}_3={\displaystyle \frac{\mathbf{C}}{\left|\left|\mathbf{C}\right|\right|}},\cdots$

其实本质思想很简单
就是向量减去在所有正交基上的投影，得到新的正交基

矩阵分解

由向量投影知：$A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$
所以有：$A^{T}A=(QR{)}^{T}QR=R^{T}R$ $R^{T}R\hat{\mathbf{x}}=R^T{Q}^T\mathbf{b}$
最小二乘法的最优近似解则为：$\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}$